因果、涌现与机器学习：因果涌现读书会第二季启动

导语

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。

由北京师范大学教授、集智俱乐部创始人张江和加州大学圣地亚哥分校助理教授尤亦庄等人发起的「因果涌现」系列读书会第二季，将组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。本读书会自2022年5月22日开始，每周日晚19:00举办，预计持续7-8周。欢迎感兴趣的朋友报名参与。

读书会介绍

涌现是复杂科学中的核心主题；因果科学是近年来从统计学、人工智能等领域逐渐发展起来的一个重要分支；机器学习，特别是配备了自动微分技术的深度学习则逐渐形成了一种新的解决一般复杂问题的通用工具，不断在各个重大交叉领域取得突破。那么，这三大主题会有什么联系呢？为探寻涌现、因果科学和机器学习这三大主题之间的联系，我们启动了第二季因果涌现读书会。

在第一季的因果涌现读书会中，我们系统化地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了该理论在复杂网络、机器学习中的应用。有关第一季读书会的内容，请参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索

那么，第二季读书会我们讨论什么呢？

第二季读书会拟从如下五个方面探讨涌现、因果科学和机器学习三大主题的融合，包括：

模块一：追根溯源，我们将深挖近年来在复杂科学领域逐渐成长壮大的信息论拓展，包括整合信息论、互信息分解等技术和方法；

模块二：因果涌现，我们将进一步探索因果涌现理论，特别关注如何将因果作为工具来定量探索复杂系统之中的一些古老的难题，如：自上而下的因果等；

模块三：因果表示学习，将重点追踪因果科学以及表示学习理论中有关粗粒化和多尺度的概念；

模块四：机器学习多尺度自动建模，则重点关注多尺度机器学习动力学建模方面的最新文献和进展；

模块五：量子因果，将探索如何将量子信息与因果科学融为一体，这将大大拓展我们对因果和信息等概念的理解。

第一讲：因果涌现理论的回顾与展望

涌现是复杂系统中的核心概念，然而，长久以来，它却一直披着一套神秘的面纱。人们随意地使用着涌现一词来描述各种现象，但却始终无法为其建立一套定量化的框架。因果涌现理论则是近年来站在马尔科夫动力学、信息论、因果科学的交汇处发展出的一套理论，试图通过粗粒化以及有效信息概念来定量刻画复杂系统中的涌现。

集智俱乐部将于2022年5月22日举办第二季第一期因果涌现理论的读书会。本次读书会张江教授首先将与我们重新回顾第一季读书会中的内容，然后完整地解读因果涌现理论，阐述它有何应用以及不足之处。其次，本次讲座将结合机器学习、因果科学、多尺度建模的问题对因果涌现的未来可能发展方向进行展望。

主讲人：张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。其开创的集智俱乐部是国内外知名的学术社区，致力于复杂系统、人工智能等多领域的跨学科交流与合作。

读书会发起人介绍

发起人：

张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。其开创的集智俱乐部是国内外知名的学术社区，致力于复杂系统、人工智能等多领域的跨学科交流与合作。

尤亦庄，加州大学圣地亚哥分校助理教授。主要研究领域：量子多体物理，及其演生现象和临界现象。

联合发起人：

岳玉涛，集萃深度感知技术研究所创始人、所长。主要研究兴趣包括计算建模与人工智能、雷达视觉融合、电磁场、AGI等。

袁冰，机器学习及算法开发负责人。毕业于华中科技大学，研究兴趣包括因果推断，复杂科学，以及人工智能相关领域。曾于西门子，甲骨文，唯品会等公司研发部门任职。

章彦博，毕业于中国科学技术大学凝聚态物理系，美国亚利桑那州立大学 复杂系统博士在读，集智-凯风研读营学者，研究方向：统计物理、复杂系统等，曾在瑞典Karolinska医学院进行访问交流。

张章，北京师范大学系统科学学院博士在读。研究兴趣集中于复杂网络与深度学习的交叉领域，具体包括网络重构问题，Graph上的优化问题等。

参与方式和时间

本次读书会适合的参与对象：

1. 基于复杂系统、人工智能等方法做相关研究的科研工作者；
2. 能熟练阅读英文文献，并对复杂科学充满激情，对世界的本质充满好奇的探索者。

运行模式：

每 1 周由 1-2 名读书会成员领读相关论文，进行线上会议，与会者可以广泛参与讨论（以 PPT 讲解的形式，直播间互动交流）。

时间：

从2022年5月22日开始，每周日晚上的19:00-21:00，持续时间预计 7-8 周。

方式：此次读书会为线上闭门读书会，采用线上会议的方式进行，结束之后会为报名成员提供视频回放等多种资料供大家学习。

费用：

读书会保证金共计 299 元/人。为了过滤一些非专业人士，甄选出真正对社会计算研究感兴趣、有相关研究经验的专业人士，保证读书会研讨质量，也为了激励大家学习、分享、总结，本期读书会将采取收费 – 退款的保证金模式。

退费规则：

1.满足如下条件之一者全额退款（本季读书会结束后统一退费）：

• 贡献了一次讲座（半小时以上）内容的（需要提前向主持人申请并通过试讲）；

• 完成了一篇以上读书笔记写作，并在集智俱乐部公众号分享。（读书笔记标准：字数3千以上，图文并茂，具体请参照此文：因果观念新革命？万字长文，解读复杂系统背后的暗因果）；

• 认真完成集智百科相应的编撰任务，经过集智百科团队审核通过，并达到299积分。（详情见https://wiki.swarma.org/index.php?title=激励制度）

2. 满足以下条件之一的不仅可以全额退款，还有额外奖励：

• 由读书会内容启发，产生了靠谱的新产品创意，并在读书会结束 2 个月内提交了详细的产品策划方案，并通过了集智俱乐部组织的相应考核答辩的；

• 由读书会内容启发，萌发了科研论文创意，在读书会结束 2 个月内完成初稿，并在最终的论文成果中致谢集智俱乐部和因果社区的（需要发表在SCI等核心刊物上。）

报名方式

第一步：扫码填写报名信息

扫码报名

第二步：填写信息后，进入付款流程，提交保证金299元。（符合退费条件后可退费）

第三步：添加负责人微信，拉入对应的读书会讨论群

（我们也会对每次分享的内容进行录制，剪辑后发布在集智学园官网上，供读书会成员回看）

读书会阅读材料

模块1: 追根溯源：互信息、有效信息、动力学约简

【简介】因果涌现理论为我们解释涌现提供了新的视角，人们发现，对于具有涌现性质的系统，其宏观尺度会比微观尺度具有更明确的因果关系，而有效信息是衡量着一因果的手段，有效信息在本质上是一种互信息，这一部分我们将追根溯源，去询问这一问题：从信息论的视角来看，有效信息增加的这一过程中到底发生了什么？在这一模块我们将涉及到互信息的分解，认识协同信息，冗余信息，也将涉及到整合信息等话题。

【参考文献】

1.Decomposition of mutual information

[1] Williams PL, Beer RD. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:10042515. 2010;.

[2] Timme N, Alford W, Flecker B, Beggs JM. Synergy, redundancy, and multivariate information       measures: An experimentalist's perspective. Journal of Computational Neuroscience. 2014;36(2):119–140. pmid:23820856

[3] McGill WJ. Multivariate information transmission. Psychometrika. 1954;19(2):97–116.(early)

[4] Mediano PA, Rosas F, Carhart-Harris RL, Seth AK, Barrett AB. Beyond integrated information: A taxonomy of information dynamics phenomena. arXiv preprint arXiv:190902297. 2019;.

[5] Rosas F, Mediano P, Rassouli B, Barrett A. An operational information decomposition via synergistic disclosure. arXiv preprint arXiv:200110387. 2020;.

[6] Rassouli B, Rosas FE, Gündüz D. Data Disclosure under Perfect Sample Privacy. IEEE Transactions on Information Forensics and Security. 2019;.(Algorithm)

[7] Rosas FE, Mediano PAM, Gastpar M, Jensen HJ. Quantifying high-order interdependencies via multivariate extensions of the mutual information. Physical Review E. 2019(O-information \Omega)

[8] Rosas F, Mediano PAM, Ugarte M, Jensen HJ. An information-theoretic approach to self-organisation: Emergence of complex interdependencies in coupled dynamical systems. Entropy. 2018;20(10). pmid:33265882

[9] Lizier JT, Bertschinger N, Jost J, Wibral M. Information decomposition of target effects from multi-source interactions: Perspectives on previous, current and future work. Entropy. 2018;20(4). pmid:33265398

[10] Modes of information flows, arXiv:1808.06723v1

[11] An operational information decomposition via synergistic disclosure, arXiv:2001.10387v2

[12] Information Flows? A Critique of Transfer Entropies,PRL 116, 238701 (2016)

2.Integrated information theory

[1] Tononi, G., Boly, M., Massimini, M. et al. Integrated information theory: from consciousness to its physical substrate. Nat Rev Neurosci 17, 450–461 (2016). https://doi.org/10.1038/nrn.2016.44 Nature综述

[2] Giulio Tononi and Olaf Sporns: Measuring information integration, BMC Neuroscience 2003, 4:31

[3] Measuring Integrated Information: Comparison of Candidate Measures in Theory and Simulation, https://www.mdpi.com/1099-4300/21/1/17/htm

[4] Sara Imari Walker, Hyunju Kim and Paul C. W. Davies,The informational architecture of the cell, Phil. Trans. R. Soc. A 374: 20150057.

[5] Krzysztof Chalupka, Pietro Perona, Frederick Eberhardt: Multi-Level Cause-Effect Systems, Proceedings of the 19th International Conference on Artificial Intelligence and Statistics (AISTATS) 2016

[6] Chang AY, Biehl M, Yu Y, Kanai R. Information Closure Theory of Consciousness. arXiv preprint arXiv:190913045. 2019

3.Information Theory and Renormalization

[1] Amit Gordon, Aditya Banerjee, Maciej Koch-Janusz, and Zohar Ringel: Relevance in the Renormalization Group and in Information Theory, arXiv:2012.01447v1

[2] Giorgio Nicoletti and Daniel Maria Busiello: Mutual information disentangles interactions from changing environments, arXiv:2107.08985v2

4.Computational Mechanics

[1]Cosma Rohilla Shalizi James P. Crutchfield: Computational Mechanics: Pattern and Prediction, Structure and Simplicity,SFI working paper, 1999, https://sfi-edu.s3.amazonaws.com/sfi-edu/production/uploads/sfi-com/dev/uploads/filer/28/93/289376d7-3479-4dba-8acc-90605832399d/99-07-044.pdf

5.Synergy or Reduction of Dynamics

[1]Bastian Pietras, Andreas Daffertshofer: Network dynamics of coupled oscillators and phase reduction techniques, Physics Reports 819 (2019) 1–105

模块2: 因果与涌现

【简介】近年来，因果涌现理论异军突起，它将因果作为一种定量化的工具来刻画含糊不清的涌现概念。本模块将关注因果涌现和涌现定量化度量这两个方向的进展。在因果涌现方面，如何拓展有效信息工具，让它适用于连续动力学系统是一个决定着因果涌现理论是否能够长足发展的问题；另一方面，从因果涌现的角度可以尝试探索复杂系统中的自上而下的因果，这为我们破解生命乃至意识的谜题提供了理论基础。

【参考文献】

[1] Ross Griebenow, Brennan Klein, and Erik Hoel: Finding the right scale of a network: Efficient identification of causal emergence in preferential attachment networks through spectral clustering, arXiv:1908.07565v2, arXiv:2003.13075v1

[2] Thomas F. Varley: Causal Emergence in Discrete & Continuous Dynamical Systems

[3] Hiroshi Ashikaga,Francisco Prieto-Castrillo, Mari Kawakatsu, and Nima Dehghani: Causal Unit of Rotors in a Cardiac System, arXiv:1712.02203v1

[4] Rosas F E, Mediano P A M, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.https://github.com/pmediano/ReconcilingEmergences

[5] Greater than the parts: A review of the information decomposition approach to causal emergence，https://arxiv.org/abs/2111.06518 综述

[6] Seth AK. Measuring autonomy and emergence via Granger causality. Artificial Life. 2010;16(2):179–196. pmid:20067405

[7] Toy models of topdown causality, https://arxiv.org/abs/1909.12739

[8] Top Down Causality（小木球的读书会）

模块3: 多尺度因果学习

【简介】我们用各种各样的模型来描述世界，如果说基于i.i.d.数据的统计模型是发现表面现象和关联的一端，那么可以处理广泛的o.o.d.、反事实等问题的以偏微分方程为代表的物理模型就是揭示内在规律和因果的另一端。智能现象也是如此。人类有基于重复训练（或演化）的端到端黑盒化的输入-输出反馈型“系统一”智能，也有基于意识和注意力的可对符号和概念进行结构化、分析、推理的“系统二”智能。大量迹象表明，对生命与智能等复杂系统来说，在不同的尺度上具有不同的因果规律，这些规律可以由不同层次的因果模型来表征，在历史上由一代代的科学家来完成，形成了物理学、生物学、心理学等等学科。机器学习为我们进一步发现和表征这些因果模型带来了新的可能性。尽管这个领域的工作还比较少，但我们希望通过一些大佬级科学家的指向性的论文的解读，以及较为深入的讨论，加深对多尺度因果学习的理解，启发这个领域的研究思路，促成科研工作的进展和合作。

【参考文献】

[1] Chalupka K, Eberhardt F, Perona P. Causal feature learning: an overview. Behaviormetrika, 2017, 44(1): 137-164.

[2] Schölkopf B, Locatello F, Bauer S, et al. Toward causal representation learning. Proceedings of the IEEE, 2021, 109(5): 612-634

[3] Benedikt Höltgen: Encoding Causal Macrovariables, arXiv:2111.14724v1

[4] Gherardo Varando, Miguel-Angel Fern ´ andez-Torres ´, Gustau Camps-Valls: Learning Granger Causal Feature Representations

[5] Mingyu Ding et al. "Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language" neural information processing systems (2021): n. pag.

模块4: 机器学习多尺度自动建模

【简介】涌现与因果之间，具有十分深刻的关联。而这种关联，则可以分别从「多尺度」和「建模」两个角度阐释。在安德森著名的《多者异也》一文中，他点出了不同尺度之间对称性的差异——系统在更大尺度上行为的对称性，往往可以与其微观规律不同。换句话说，不同的尺度，可以有不同的有效理论。而「因果涌现」理论也发现，粗粒化之后的系统，即便忽略了很多信息，也有可能拥有更高的「因果信息」。此二者，在尺度的视角下将涌现与因果关联了起来。与此同时，因果本身就是一个非常有力的建模工具。即便没有具体的数学公式，仅仅靠因果图，我们也可以得到非常丰富的推论。有意思的是，涌现行为常常表现出特别的因果关系——微观上可以有一套因果，宏观上可以有另一套因果。就如我们同时拥有物理、化学、生物一样，我们可以对同一套系统提出多种建模。由此，涌现、因果、建模之间的暗线得以浮出水面。而这一模块的目的，就是希望能通过阅读三个领域的文献，找到它们之间切实的关联，并帮助我们更好地理解这些概念。

【参考文献】

[1] J. Zhang: Neural Information Squeezer for Causal Emergence, https://arxiv.org/pdf/2201.10154.pdf

[2] Vlachas, P.R., Arampatzis, G., Uhler, C. et al. Multiscale simulations of complex systems by learning their effective dynamics. Nat Mach Intell (2022). https://doi.org/10.1038/s42256-022-00464-w

[3] R. Iten, T. Metger, H. Wilming, L. del Rio, R. Renner, Discovering physical concepts with neural networks, Physical Review Letters (2020) 010508

[4] M. Kramer, Nonlinear principal component analysis using autoassociative neural networks, AIChE journal 37 (2) (2013) 233–243.

[5] Cai, L., & Ji, S.: A Multi-Scale Approach for Graph Link Prediction. Proceedings of the AAAI Conference on Artificial Intelligence, 34(04), 3308-3315, 2020

[6] Chen, W.et al.: Multi-Range Attentive Bicomponent Graph Convolutional Network for Traffic Forecasting. Proceedings of the AAAI Conference on Artificial Intelligence, 34(04), 3529-3536, 2020

[7] Chen Z. et al.: Multi-Scale Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recognition, Proceedings of the AAAI Conference on Artificial Intelligence, 35(2), 1113-1122, 2021

[8] Rao H. et al.: Multi-Level Graph Encoding with Structural-Collaborative Relation Learning for Skeleton-Based Person Re-Identification, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, 973-980, 2021

[9] Wang S. et al.: MT-STNets: Multi-Task Spatial-Temporal Networks for Multi-Scale Traffic Prediction， 504 – 512, 2021

模块五：量子因果

【简介】量子因果是一项正在发展中的新兴研究领域，并没有严格的定义。一方面，从因果理论发展本身来看，研究者通过对Judea Pearl因果理论的量子化，讨论量子公因（quantum common cause）和量子因果模型（quantum causal model）；另一方面，现代理论物理学中的基本统一理论倾向下，对量子时空或者量子引力的进一步探求，也引发了对量子因果的思考。从某种意义上来说，两种思路，某种意义上也实现了一定程度的殊途同归，因为两种思考下的理论体系有趋于一致的倾向，带来了诸如循环量子因果模型（cyclic quantum causal model）等的新方向。

【参考文献】

[1] Allen, John-Mark A., Jonathan Barrett, Dominic C. Horsman, Ciarán M. Lee, and Robert W. Spekkens. "Quantum common causes and quantum causal models." Physical Review X 7, no. 3 (2017): 031021.

[2] Barrett, Jonathan, Robin Lorenz, and Ognyan Oreshkov. "Quantum causal models." arXiv preprint arXiv:1906.10726 (2019).

[3] Costa, Fabio, and Sally Shrapnel. "Quantum causal modelling." New Journal of Physics 18, no. 6 (2016): 063032.

[4] Brukner, Časlav. "Quantum causality." Nature Physics 10, no. 4 (2014): 259-263.

[5] Baumeler, Ämin. "Causal loops: logically consistent correlations, time travel, and computation", PhD thesis, Università della Svizzera italiana, (2017).

[6] Barrett, Jonathan, Robin Lorenz, and Ognyan Oreshkov. "Cyclic quantum causal models." Nature communications 12, no. 1 (2021): 1-15.

[7] Jordan Cotler, Xizhi Han, Xiao-Liang Qi, Zhao Yang. Quantum Causal Influence. https://arxiv.org/pdf/1811.05485.pdf

[8] Časlav Brukner. Quantum Causality. https://www.nature.com/articles/nphys2930

[9] Sean Carroll. The Arrow of Time in Causal Networks. https://www.youtube.com/watch?v=6slug9rjaIQ

[10] John F. Donoghue, Gabriel Menezes. Quantum causality and the arrows of time and thermodynamics. https://arxiv.org/pdf/2003.09047.pdf

关于主办方和集智俱乐部读书会

集智俱乐部，英文名：Swarma Club，成立于 2003 年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 “没有围墙的研究所”。关于集智俱乐部的故事：我们的时代：摇滚、互联网与科学。

集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，了解前沿进展，激发科研灵感，促进科研合作，降低科研门槛。

读书会活动始于 2008 年，至今已经有 40 余个主题，内容涵盖复杂系统、人工智能、脑与意识、生命科学、因果科学、计算社会科学等。凝聚了众多优秀科研工作者，促进了科研合作发表论文，孵化了许多科研产品。如 2013 年的“深度学习”读书会孕育了彩云天气 APP，2015 年的“集体注意力流”读书会产生了众包书籍《走近2050》等。

点击“阅读原文”，报名读书会